Energy Optimization Induces Predictive-coding Properties in a Multicompartment Spiking Neural Network Model | biorxiv (2024)
Mingfang(Lucy) Zhang, Sander M. Bohte
https://doi.org/10.1101/2024.01.17.575877
特に予測誤差(Prediction Errors)ユニットや予測(Prediction)ユニットを人為的に設定する必要はなく、さらにユニット間の接続についても人為的に設定しなくとも、Energy Optimizationによって予測符号化(Predictive Coding:PC)の性質が現れてくる
rate codingでは同様の仕事があったが、今回はSpikingNeuralNetwork; SNN
Predictive coding is a consequence of energy efficiency in recurrent neural networks | Patterns (2022)
細胞体(soma)と尖端樹状突起(Apical dendrite)の２つに単純化したマルチコンパートメントモデル(Multi-compartment model)
細胞体(soma)：ボトムアップ(Bottom-Up)の入力を受ける
尖端樹状突起(Apical dendrite)；トップダウン(Top-Down)の入力を受ける
Adaptive Leaky-Integrate-and-Fire (ALIF) model
Naa_tsure.iconWhere is the error? Hierarchical predictive coding through dendritic error computation | TINS (2023)に似ているが、このモデルはApical dendrite → Somaの一方通行のシグナル伝達のみ
逆行性スパイク(back-propagating action potentials; bAPs)はナシ
学習方法は Forward Propagation Through Time (FPTT)
通時的誤差逆伝播法(Backpropagation Through Time; BPTT)とは異なり、online learningが可能
コストはエネルギーのロスとタスクパフォーマンスで決定する
細胞体(soma)と尖端樹状突起(Apical dendrite)の応答の違いをenergy lossとして扱い、これを最小化することでEnergy Optimizationを行う。
画像分類タスク(MNIST)において、出力と正解の違いをエラーとして扱う。
基本的に、top-down inputは応答を-1か1に固定することで真似ている。
Naa_tsure.iconTop-downの時系列はまともに考慮していない
Naa_tsure.icon高次領域の方が時定数はでかいというのはあるし画像分類なので…
Energy Optimizationを行ったモデルでは、bottom-upの入力を与えなくともtop-downの入力から画像の再構築ができた。
一方で、Energy Optimizationを行っていないモデルではできなかった。
Expected と Unexpected シグナルに対する尖端樹状突起(Apical dendrite)と細胞体(soma)の応答が異なることのモデル検証も行っている
Responses to Pattern-Violating Visual Stimuli Evolve Differently Over Days in Somata and Distal Apical Dendrites | Journal of Neuroscience (2024)
Naa_tsure.iconしかし、数日間にわたる学習の方向の違いについては言及していない